计算机软件及计算机应用 图书情报与数字图书馆 面向海量典籍文本的深度学习自动断句与标点平台构建研究 标题: 面向海量典籍文本的深度学习自动断句与标点平台构建研究作者: 王倩,王东波,李斌,许超第一作者: 王倩机构: 南京农业大学信息管理学院,南京农业大学领域知识关联研究中心,南京师范大学文学院期刊: 数据分析与知识发现发表日期: 2021-03-25论文摘要: 【目的】促进数字化古汉语的组织与利用,通过建立标注体系并构建层叠深度学习模型实现古汉语自动断句与标点,从而推动人文社科领域的发展。【方法】以《四库全书》构成海量典籍的语料库,将自动断句与标点作为序列标注问题研究,确定层叠式的思路。通过构建BERT-LSTM-CRF模型得到未断句古文的自动断句结果,并将该结果作为新的特征,输入到多特征LSTM-CRF模型,迭代学习,最终给出标点标记。利用训练出的模型,在Django框架下搭建相应的应用平台。【结果】实验结果表明,在大规模语料下,本文方法针对经、史、子、集4部自动断句与标点的调和平均值分别为86.41%与90.84%。【局限】对于标点体系的处理有待细化。【结论】所利用的模型显著提升任务效果,所搭建的应用平台实现是数字人文工程化的体现。关键词: BERT; 古汉语; 数字人文; 自动断句知网阅读链接: 点击跳转
